Bien qu'un habitat soit attesté sur le site depuis le IIe millénaire av. J.‑C., la date de sa fondation n'est pas connue. Il existe déjà une forteresse à l'époque du royaume d'Urartu (Ourartou). Pendant le Moyen Âge, la ville est située dans la province arménienne historique d'Ayrarat (district de Shirak ou Chirak), sur un « promontoire triangulaire ».
Ani devient tout d'abord la forteresse des seigneurs de la famille Kamsarakan vers le Ve siècle, puis elle passe sous la main des Bagratides qui quittent la ville de Kars et sa forteresse perchée au IXe siècle1. Le Xe siècle et l'an mil est l'époque de la splendeur d'Ani.
Le roi d'Arménie Achot III, de cette dynastie, en fait sa capitale en 961 : il construit d'abord les remparts (les premiers de l'histoire de la ville) puis un grand palais et sa citadelle2.
Ani s'agrandit grâce à sa situation sur une route commerciale, et est donc le centre religieux, administratif et aussi culturel de tout l'Arménie médiévale vers 992. La « ville aux mille et une églises » prend de l'importance. Cette grandeur ne suffit pas au roi Sembat II — dit le Conquérant ; il fait édifier des murailles plus grandes que les précédentes vers 9891. C'est alors que l'on assiste à une « fièvre constructive » : palais, magasins, marchés, auberges, ateliers, etc., . Des bâtiments religieux sont à leur tour construits. La population d'Ani vers l'an mil atteint les 100 000 habitants, et la cité est le siège du catholicos arménien. Un nouvel essor est connu par la ville sous le règne de Gagik Ier (989–1020), c'est l'époque de la construction de la plupart des églises.
EN 1045, Byzance occupe la ville : il n'y a plus de règne bagratide.
Le 16 août 10643, elle est prise par les Turcs Seldjoukides, sous la conduite d'Alp Arslan et en 1072, la ville est cédée à la famille kurde des Cheddadides (Banou-Cheddâd), représentée par Fazl Manutché (1072–1110), dont la mère était une Bagratide, puis par son fils Abou'l-Sewar (1110–1124). En 1124, les habitants se révoltent contre les Cheddadides et la ville est occupée par les Géorgiens pendant deux ans avant de revenir aux Cheddadides Fadlun Ier (1126–1132), Mahmoud (1132), Cheddâd (mort en 1155) et Fadlun II (1155–1161). Les armées du roi Georges III de Géorgie l'occupent de nouveau entre 1161 et 1163 avant qu'elle ne soit reprise par les Seldjoukides pour 10 ans (1163–1174). En 1174, Ani est reconquise par le prince Iwané Orbéliani puis intégrée dans le domaine royal géorgien en 1177 jusqu'à la mort du roi en 1185. La ville revient ensuite une dernière fois aux Cheddadides4.
Ani est enfin libérée par les princes Zakarian en 11995, qui font édifier des monastères arméniens. La ville devient le centre de l'Arménie zakaride et profite d'un nouvel essor, moins brillant que le précédent. Elle est prise par les Mongols en 1231 — ou 1236. Au XIVe siècle, une dynastie turcomane, les Qara Qoyunlu, en fait sa capitale. Après la prise de la ville par Tamerlan à la fin du siècle, les Qara Qoyunlu transfèrent leur capitale à Erevan. La ville est complètement abandonnée.
L'histoire selon laquelle la ville aurait été détruite par un tremblement de terre en 1319 serait un mythe